Metric	Score
Weighted-F1	52.74
Hyphens-F1	51.16
Comma-F1	64.93
Ellipsis-F1	0.00
Fullstop-F1	43.05
QMark-F1	30.56
Colon-F1	74.00
Excl-F1	18.18

Metric	Score
Weighted-F1	51.94
Hyphens-F1	39.55
Comma-F1	70.36
Ellipsis-F1	100.00
Fullstop-F1	39.03
QMark-F1	16.13
Colon-F1	55.84
Excl-F1	8.00

worst items

note: the gold standard is taken from the challenge

#	input	expected output	actual output	test-D Hyphens-F1
1	wikinews186979 phoenix mars lander przełączył się wczoraj w tryb bezpieczny w reakcji na usterkę elektryczną wywołaną pogarszającymi się war…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
2	wikinews179354 prezydent usa george bush powiedział że odnowa nowego orleanu i innych zalanych terenów potrwa lata stan luizjana wraz ze sto…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
3	wikinews225483 w domu kultury 502 w łodzi ul a sacharowa 16 na widzewie wschodzie od 23 października 1990 r działa widzewska galeria ekslibr…	O O O O O O O O O O O B-HYPHEN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-HYPHE…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
4	wikinews231930 koło miasta richland gdzie znajduje się nieczynny zakład wytwarzania plutonu dla celów wojskowych złapano królika wykazująceg…	O O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O…	O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O…	0.00
5	wikinews182510 około godziny 11 00 w okolicy skrzyżowania ulic lisowskiej i żeromskiego w warszawie podczas prac remontowych doszło do uszko…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O…	0.00
6	wikinews188914 potrzeba zaproszenia armii amerykańskiej na polskie terytorium w celu " obrony przed rosyjską agresją " jest " mało zrozumiał…	O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O B-HYPHEN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
7	wikitalks0012907 rozbudowałem znacząco w ostatnim czasie myślałbym o zgłoszeniu do da proszę o ewentualne uwagi pod tym kątem misiek2 pisz w…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
8	wikitalks0014582 kolego gregul sprawa jest prosta pojęcie stateczności stabilności dotyczy nie tylko układów sutomatycznej regulacji ale tak…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O O O O O O O O O O O O O O O…	O O O O B-HYPHEN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O…	0.00
9	wikinews182909 wiceminister zdrowia bolesław piecha który obecnie przebywa w grenoble poinformował że w wypadku we francji zginęło 26 a nie …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
10	wikitalks0016538 polactwo zbiorem felietonów klisu właśnie toż to traktat polityczny sugeruję korektę mendel poprawiłem a j raz nie zerwał o…	O O B-HYPHEN O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O B-HYPHEN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
11	wikinews231399 franco frattini komisarz ds sprawiedliwości w unii europejskiej powiedział że wszystkie kraje potrzebują bliższej współpracy …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
12	wikinews239127 rosyjska agencja kosmiczna roskosmos podpisała wczoraj z rządem indii porozumienie o wspólnych badaniach i eksploracji księży…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O O O O O O O O O…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
13	wikitalks001549 nie zmieniłem tego ale wydaje mi się że zamiast " buddyźmie " " marksiźmie " " relatywiźmie " powinno być " buddyzmie " " ma…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
14	wikinews227796 25 maja rząd odpowie na żądania strajkujących lekarzy ogólnopolski związek zawodowy lekarzy domaga się miliarda złotych na po…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN…	O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O B-HYPHEN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
15	wikinews226282 w słowenii trwa właśnie referendum w sprawie sporu granicznego z chorwacją wyborcy w zdecydują w nim czy godzą się na arbitra…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O O O O O O O O O O O O O O O O O O…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
16	wikinews182966 prace budowlane kanału przez mierzeję wiślaną najprawdopodobniej ruszą pod koniec 2008 roku lub na początku 2009 koszt inwest…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
17	wikinews180045 bogdan rymanowski odszedł z faktów tvn według spekulacji miał zastąpić kamila durczoka na stanowisku prezentera wiadomości w …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O B-HYPHEN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O O O O O O O O O O O O O O …	0.00
18	wikinews226727 zarząd dróg i transportu w łodzi przedstawił harmonogram prac przy przebudowie trasy w z inwestycji obejmującej nie tylko wbu…	O O O O O O O O O O O O B-HYPHEN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
19	wikinews181555 polska odrzuciła możliwość wprowadzenia wspólnego podręcznika do historii dla 49 państw należących do rady europy " nie możem…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O O O O O O O O O O O O…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
20	wikitalks008601 a co z wyrażeniem " oblucja " " w kościele rzymskokatolickim " dlaczego na wstępie tego artykułu jest napisane że ablucja to…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
21	wikitalks005217 zgłoszenie zostało przeniesione z wikipedia zgłoś błąd w artykule ponieważ prawdopodobnie nie zostało rozwiązane w ciągu 45 …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
22	wikinews196417 " dlaczego ścigano wachowskiego a szczególnie dlaczego robiono rewizje wachowskiemu dlatego że chciano znaleźć oryginalne]] p…	O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
23	wikinews185732 świat obiegła informacja że mehmet ali ağca który dokonał nieudanego zamachu na papieża jana pawła ii na placu św piotra w rz…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
24	wikinews184616 od soboty na wrocławskie osiedla krzyki partynice oraz klecina nie jeżdżą tramwaje skrzyżowanie ulic hallera i powstańców ślą…	O O O O O B-HYPHEN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
25	wikinews179650 mamy najgorsze przedmieścia w europie nie wolno nam myśleć że jesteśmy całkiem inni od paryża jest to bowiem wyłącznie kwesti…	O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
26	wikinews228267 o godzinie 15 40 premier jarosław kaczyński ma spotkać się z czterema pielęgniarkami które od wtorku okupują kancelarię premi…	O O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O O O O O O O O O…	0.00
27	wikitalks0014941 skąd informacja że krzyż i tablica były umieszczone nielegalnie czy autor edycji mógłby podać źródło czy liczy się dodanie …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O O O O O O O O O O O B-HYPHEN O O O O B-HYPHEN O O O O O O…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
28	wikinews228153 w obliczu coraz bardziej realnych przedterminowych wyborów słabsze partie muszą szukać rozwiązania by uniknąć eliminacji z pr…	O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O O O O O O O O O O O O O O O…	0.00
29	wikinews196680 28 lipca odbędą się w krakowie w hotelu galaxy targi kariera programisty targi organizowane są cyklicznie przez firmę careerc…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
30	wikitalks0016311 " armia pakistańska wymordowała w delcie gangesu ok 1 1 5 miliona cywilów i dopuściła się bezprecedensowo straszliwej liczb…	O O O O O O O O B-HYPHEN O B-HYPHEN O O O O O O O O O O O B-HYPHEN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
31	wikinews183820 " kościół zawsze nalegał i przypominał że to jest obowiązek moralny wzięcia udziału w wyborach natomiast nie powinien się wyp…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O O O O O O O O B-HYPHEN O O B-HYPHEN O O O O O O O O O…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O O O O…	0.00
32	wikinews182971 choć niemcy borykają się brakiem niewykwalifikowanej siły roboczej to nadal maja zamknięty rynek pracy dla nowych krajów ue o…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
33	wikinews183979 awesome to menedżer okien dla x11 który powstał na bazie źródeł menedżera dwm julien danjou twierdzi że awesome jest nadzwycz…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O O O O O O O O O O O O O O O O O O O O O O O…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O O O O O O O…	0.00
34	wikinews228503 w czasie " siódmego dnia tygodnia " na antenie radia zet prowadząca go monika olejnik ostro zareagowała na słowa joachima bru…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O…	0.00
35	wikinews232784 apelem o jak najszybsze sfinalizowanie rokowań prowadzonych w ramach negocjacyjnej rundy dauha zakończył się szczyt 21 państw…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN …	O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O…	0.00
36	wikinews237934 podczas wczorajszego nabożeństwa w meczecie w rafah lider radykałów salafickich z ugrupowania dżund ansar allah abdel latif m…	O O O O O O O O O O O O O O O B-HYPHEN O O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
37	wikinews184869 zgromadzenie ogólne narodów zjednoczonych przyjęło rezolucję która jednak nie ma charakteru wiążącego wzywającą do ogłoszenia…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
38	wikinews230329 microsoft oficjalnie zapowiedział że sequel gry gears of war pojawi się w listopadzie 2008 r ta produkcja okazała się być jed…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O…	0.00
39	wikinews227876 " uroczyście ogłaszam poniedziałek dniem radości narodowej awans do mistrzostw europy 2008 to historyczny moment " powiedział…	O O O O O O O O O O O O O O O B-HYPHEN O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
40	wikinews181800 na podlasiu rozpoczęły się przedterminowe wybory do sejmiku województwa razem z nimi odbywa się referendum w sprawie przebieg…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O B-HYPHEN O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00